Karl Gjellerup xuất thân trong một gia đình mục sư. Ba tuổi cha mất, ông đến Copenhagen ở với bác họ đằng mẹ. Gjellerup sáng tác từ rất sớm, vừa tốt nghiệp trung học ông đã viết hai vở kịch Spicio Africanus và Arminius nhưng đều không được in. Năm 1874, ông vào học Đại học Copenhagen, khoa Thần học, nhưng về sau lại trở thành người vô thần: điều này thể hiện qua các tác phẩm như Ein Idealist (Người lý tưởng, 1878, ký bút danh Epigon), Antigonos (1880) v.v.

Năm 1892, ông chuyển đến Đức sinh sống và du lịch qua nhiều nước như Ý, Hy Lạp, Nga, Thụy Điển, Thụy Sĩ; ấn tượng thu lượm được phản ánh trong các tác phẩm En klassisk maaned (Tháng cổ điển, 1884), Brynhild (1884). Sáng tác của Karl Gjellerup được viết bằng tiếng Đan Mạch và tiếng Đức, thể hiện sự thán phục của ông đối với tinh thần nhân bản và khía cạnh tâm linh trong văn hóa Đức. Tiểu thuyết Möllen (Chiếc cối xay, 1896) tiêu biểu cho giai đoạn này viết về cuộc sống của những người nông dân Đan Mạch được coi là kiệt tác.

Tác phẩm của ông bộc lộ rõ ảnh hưởng của trào lưu suy đồi (décadence), nhưng từ khoảng năm 1906 trở đi, ông quan tâm đến đề tài tôn giáo. Phật giáo là nguồn cảm hứng giúp ông hoàn thành vở kịch Die opferfeuer (Ngọn lửa hiến tế, 1903) cùng cuốn tiểu thuyết Pilgrimen Kamanita (Kamanita, người hành hương, 1906). Hai cuốn tiểu thuyết cuối cùng của ông là Guds venner (Những người bạn của Chúa Trời, 1916) và Der goldene zweig (Cành vàng, 1917) đánh dấu sự trở về với Cơ đốc giáo.

Năm 1917, nằm trong ý đồ củng cố chính trị khối liên minh các dân tộc Scandinavia, Viện Hàn lâm Thụy Điển đã trao giải Nobel cho Karl Gjellerup cùng với một nhà văn Đan Mạch khác là Henrik Pontoppidan. Người dân Đan Mạch không hào hứng lắm với việc ông nhận giải Nobel vì cho rằng ông là nhà văn Đức. Karl Gjellerup mất ở Klotzsche (Đức).